Resumo Neste artigo pretende-se contribuir para a validação e interpretação da escala do índice de exposição da criança à privação material no domicílio com base na amostra portuguesa do EU-Statistics on Income and Living Conditions (EU-Silc) de 2017. O índice foi desenvolvido a partir de itens do questionário dos domicílios por meio da aplicação de um modelo da teoria da resposta ao item. Para a sua validação, realizou-se análise descritiva da escala segundo variáveis sociais do EU-Silc. A interpretação se deu pela descrição das categorias dos itens segundo perfis de domicílios agrupados em clusters. Os resultados mostram que 14,3% dos agregados familiares com crianças podem ser classificados como em situação de privação extrema e 25,6% num nível intermédio de privação. Tendo em conta que o EU-Silc é aplicado em todos os países da União Europeia, a metodologia pode ser extensível a esses países, permitindo o monitoramento anual da pobreza infantil.

Abstract This article aims to contribute to the validation and interpretation of scale of the child exposure to household material deprivation, developed based on the Portuguese sample of the 2017 EU-Statistics on Income and Living Conditions (EU-Silc). The index was developed from household questionnaire items by applying an item-response theory model. For its validation, a descriptive analysis of the scale by EU-Silc social variables was carried out. The interpretation was given by the description of the categories of items according to the profiles of households grouped into clusters. The results show that 14.3% of households with children can be classified as in a situation of extreme deprivation and 25.6% in an intermediate level of deprivation. Considering that EU-Silc is applied in all European Union, the methodology can be extended to other countries, allowing the annual monitoring of child poverty.

Resumo No mundo digital, toda a atividade humana deixa um rasto de dados que constitui um recurso cada vez mais valioso, para avaliação e definição de estratégias nos mais variados domínios. A partilha desses dados, sendo socialmente importante, implica o respeito pela privacidade individual e portanto a sua anonimização. As atuais leis e regulamentos sobre privacidade oferecem orientações limitadas para lidar com um vasto leque de tipos de dados, ou com técnicas de reidentificação. Este trabalho pretende ilustrar um processo de anonimização, comparando para vários modelos de privacidade a perda de informação e a utilidade do conjunto de dados resultante. Encontrar o equilíbrio entre privacidade e utilidade é um desafio que pode ser mais facilmente alcançado por quem melhor conhece o significado dos dados e dos objetivos que se pretendem alcançar com eles.

Abstract In the digital world, all human activity leaves a trace of data that is growingly valued for the evaluation and definition of strategies in varied domains. The sharing of those data, being socially relevant, implies the respect for individual privacy and so, its anonymization. The current laws and regulations about privacy offer limited guidance to deal with the vast range of datatypes or with techniques of re-identification. This work aims at illustrating a process of anonymization, comparing to several models of privacy, the loss of information and the usefulness of that dataset resulting from the anonymization. Finding a balance between privacy and utility is a challenge that can be more easily found by those who know better the meaning of the data and objectives aimed at.

Resumo Quase todos os estudos quantitativos em aferição, avaliação e pesquisa educacional são baseados em conjuntos de dados incompletos, que têm sido um problema há anos sem solução única. O uso de grandes dados identificáveis apresenta novos desafios para lidar com valores ausentes. Na primeira parte deste artigo, apresentamos o estado-da-arte do tópico na literatura científica educacional brasileira e como os pesquisadores têm tratado os dados omissos. Em seguida, usamos o software de acesso livre para analisar dados do mundo real, a Prova Brasil 2017, para várias unidades da federação, e documentamos como pressuposto de dados omissos completamente aleatórios pode afetar os resultados estatísticos, as interpretações e implicações subsequentes para políticas e práticas. Concluímos com sugestões diretas para qualquer pesquisador de educação sobre a aplicação de rotinas R para realizar o teste de hipóteses de dados omissos completamente aleatórios e, se a hipótese nula for rejeitada, como implementar a imputação múltipla, que parece ser um dos métodos mais apropriados para manipular dados ausentes.

Abstract Almost all quantitative studies in educational assessment, evaluation and educational research are based on incomplete data sets, which have been a problem for years without a single solution. The use of big identifiable data poses new challenges in dealing with missing values. In the first part of this paper, we present the state-of-art of the topic in the Brazilian education scientific literature, and how researchers have dealt with missing data since the turn of the century. Next, we use open access software to analyze real-world data, the 2017 Prova Brasil , for several federation units to document how the naïve assumption of missing completely at random may substantially affect statistical conclusions, researcher interpretations, and subsequent implications for policy and practice. We conclude with straightforward suggestions for any education researcher on applying R routines to conduct the hypotheses test of missing completely at random and, if the null hypothesis is rejected, then how to implement the multiple imputation, which appears to be one of the most appropriate methods for handling missing data.

Resumen Casi todos los estudios cuantitativos en evaluación, evaluación e investigación educativa se basan en conjuntos de datos incompletos, que han sido un problema desde hace años sin solución única. El uso de grandes datos identificables presenta nuevos desafíos para manejar los valores ausentes. En la primera parte de este artículo, presentamos el estado del arte del tópico en la literatura científica educativa brasileña y cómo los investigadores han tratado los datos omisos. A continuación, utilizamos el software de acceso libre para analizar datos del mundo real, la Prueba Brasil 2017, para varias unidades de la federación, y documentamos cómo la asunción de datos omisos completamente aleatorios puede afectar los resultados estadísticos, las interpretaciones e implicaciones subsecuentes para políticas y prácticas. Concluimos con sugerencias directas para cualquier investigador de educación sobre la aplicación de rutinas R para realizar la prueba de hipótesis de datos omisos completamente aleatorios y, si la hipótesis nula es rechazada, cómo implementar la imputación múltiple, que parece ser uno de los métodos más apropiados para manipular datos ausentes.

Resumo Este artigo investiga a retenção escolar em Portugal usando microdados. Com a aplicação de modelos multinível, analisa-se o número de retenções no ensino obrigatório - variável explicada -, considerando como potenciais variáveis explicativas - características individuais do aluno, seu contexto familiar em termos sociodemográficos e económicos e suas condições de vida. Também se investiga o impacto da escola de per si na variável endógena. Os resultados obtidos confirmam a importância das características individuais e familiares e das condições de vida na retenção escolar. A análise empírica mostra que a probabilidade de reprovação de um aluno varia de escola para escola, demonstrando a importância do impacto da escola de per si na retenção escolar.

Abstract This paper investigates grade repetition in Portugal using microdata. Drawing on multilevel models, we analyse the number of times the student repeated a grade in compulsory education - our dependent variable - in association with children’s individual characteristics, household sociodemographic and economic background, and children’s living conditions - our covariates. Furthermore, we also attempt to shed light on the impact of schools on the endogenous variable. Our results confirm the importance of individual, family, and neighbourhood characteristics on the rate of grade repetition. In terms of schools, the results obtained show that the student’s probability of failure vary across schools, demonstrating the importance of the impact of the school itself on grade repetition.

Resumen Este artículo investiga la retención escolar en Portugal utilizando microdatos. Con la aplicación de modelos multinivel, se analiza el número de retenciones en la educación obligatoria -variable explicada-, considerando como posibles variables explicativas las características individuales del estudiante, su contexto familiar en términos sociodemográficos y económicos y sus condiciones de vida. También se investiga el impacto de la propia escuela por sí misma en la variable endógena. Los resultados obtenidos confirman la importancia de las características individuales y familiares y de las condiciones de vida en la retención escolar. El análisis empírico muestra que la probabilidad de fracaso de un estudiante varía de una escuela a otra, lo que demuestra la importancia del impacto de la escuela en la retención escolar.

Résumé Cet article traite du redoublement scolaire au Portugal à partir de microdonnées. Par le biais de modèles multi-niveaux, il analyse le nombre de redoublements dans l’enseignement obligatoire - variable dépendante selon - les variables explicatives potentielles suivantes - les caractéristiques individuelles des élèves, leur contexte familial en termes socio-démographiques et économiques et leurs conditions de vie. Le travail s’intéresse également à l’impact particulier de l’école sur la variable endogène. Les résultats obtenus confirment le rôle important que jouent les caractéristiques individuelles et familiales et les conditions de vie dans le redoublement scolaire. L’analyse empirique montre que la probabilité qu’un élève redouble varie d’une école à l’autre, ce qui démontre l’importance de l’impact particulier de l’école sur le redoublement.

O artigo tem o propósito de caracterizar e contribuir para o debate sobre a democratização do Ensino Superior português, quer no que se refere ao acesso como ao desempenho dos estudantes matriculados numa universidade pública. Analisam-se características sociodemográficas e percurso escolar dos 2697 alunos inscritos pela 1ªvez no 1ºano no ano letivo 2015/16 e a sua associação à escolha do curso, às expectativas sobre o ensino superior, condições de ingresso, bem como a associação com o desempenho ao longo do 1º ano. Os principais resultados indicam que o sexo, a origem socio-cultural das famílias e o percurso escolar estão associados à escolha do curso, à nota de candidatura e à opção de entrada. A análise de variância multivariada da classificação no final do 1º ano sugere que, ao nível de significância de 5%, o termo fixo de área científico-disciplinar e os termos de interacção entre opção do curso e área científica-disciplinar são estatisticamente diferentes de zero. Não foi encontrada associação estatisticamente significativa de origem socio-cultural com persistência no ensino superior. A origem dos estudantes parece não influenciar a decisão de abandonar, suspender ou transferir-se de curso, pelo menos durante o 1º ano. Os resultados associados ao percurso escolar sugerem a resiliência e/ou a acção institucional na promoção da equidade no ensino superior.

The purpose of this article is to characterize and contribute to the debate on the democratization of Portuguese higher education, both in terms of access and the performance of students enrolled in a public university. The analyses concern the sociodemographic characteristics and schooling trajectory of the 2,697 students enrolled for the first time in the University of Minho in the academic year 2015/16. The relationships between such characteristics and the choice of program, expectations regarding higher education, the criteria of admission, and the association with their permanence and performance in the first year of studies are explored as well. Several statistical tests were applied, such as those based on multivariate analysis of variance, chi-squared test for the independence between variables, or the t-Student test for the comparison of means of two independent samples. Results suggest that student’s gender, socio-cultural background and schooling trajectory are related to the choice of the programe, university entrance score and the entrance option. The multivariate analysis of variance of student’s grade point average at the end of the first year suggests the influence of the interaction between the fixed term of scientific-disciplinary area of the program attended and the program option of access to higher education. We did not find any statistically significant association between socio-cultural background and permanence in higher education; i.e, the socio-cultural origin of the students does not seem to influence the decision to abandon, suspend or transfer program, at least during their first year of studies. Our findings suggest student’s resilience and/or institutional action meaning a step further on the path for social equity in the Portuguese higher education.

RESUMO O artigo apresenta e debate as análises de valor acrescentado, eficácia diferencial e equidade social realizadas através da aplicação de modelo multinível (UF, município, escola, aluno) aos dados longitudinais de estudantes que fizeram a Prova Brasil 2011, no 5 o ano, e a Prova Brasil 2015, no 9 o ano do ensino fundamental. Estimou-se a contribuição da escola brasileira em três dimensões: promoção da aprendizagem em Língua Portuguesa e Matemática, no período de 2011 a 2015 (valor acrescentado); influência diferenciada nas aprendizagens ocorridas durante o período em análise, tendo como referência o nível de conhecimento dos alunos à entrada, no 5º ano (eficácia diferencial); e influência diferenciada nas aprendizagens ocorridas durante esse período, tendo como referência o nível socioeconômico dos alunos (equidade social). Foram testadas ainda variáveis sociodemográficas do aluno, tais como sexo, cor/raça, situação face ao trabalho e se a mãe é ou não alfabetizada. O artigo apresenta resultados inovadores de eficácia educacional no Brasil, mostrando que, ao contrário do que consta na literatura internacional, a magnitude do indicador de valor acrescentado é similar à encontrada em estudos em países desenvolvidos. Os resultados confirmam o conhecimento acumulado sobre o desempenho escolar dos alunos por nível socioeconômico, sexo e cor/raça.

ABSTRACT The article analyzes the school effect in Brazilian school in three dimensions: the progress in learning the Portuguese Language and Mathematics (value added); the differential effect in the contents learned (differential efficacy) having as a yardstick the knowledge of students at entry level (5 th grade); and the differential effect in the contents learned taking into account the socioeconomic level of the students (social equity). To that end, we lied a multilevel model (UF, municipality, school, student) to a longitudinal database comprised of students who took the Prova Brasil 2011, while in the 5 th grade, and the Prova Brasil 2015, while in the 9 th grade. Control variables related to the students' sociodemographic status, such as sex, color/race, employment status, and mother's literacy, were taken into account. The article presents innovative results on the effectiveness of schooling in Brazil, showing that, contrary to the international literature, the magnitude of the value added is similar to that found in developed countries. Our analysis also confirms findings of previous studies on the school performance of students according to socioeconomic level, gender and color/race.

RESUMEN El texto presenta y debate los análisis de valor añadido, eficacia diferencial y equidad social realizados a través de la aplicación de modelo multinivel (Unidad Federativa; municipio; escuela; alumno) a los datos longitudinales de estudiantes que hicieron la 'Prova Brasil' 2011, en el 5 o año, así como la 'Prova Brasil' 2015, en el 9 o año, ambos de la enseñanza fundamental. Se ha estimado la contribución a la escuela brasileña base a tres dimensiones: i) la promoción del aprendizaje en portugués y matemáticas en el período 2011 a 2015 (valor añadido); ii) la influencia diferenciada en los aprendizajes ocurridos durante el período en análisis, teniendo como referencia el nivel de conocimiento de los alumnos a la entrada, en el 5 o año (eficacia diferencial) y; iii) la influencia diferenciada en los aprendizajes ocurridos durante ese período, teniendo como referencia el nivel socioeconómico de los alumnos (equidad social). Han sido probadas las variables sociodemográficas del estudiante, tales como sexo, color/raza, situación frente al trabajo y si la madre es o no alfabetizada. El artículo presenta resultados innovadores de eficacia educativa en Brasil, y demuestra que, a diferencia de lo que dice la literatura internacional, la magnitud del indicador de valor añadido es similar a la encontrada en estudios en países desarrollados. Los resultados confirman el conocimiento acumulado sobre el desempeño escolar de los alumnos por nivel socioeconómico, sexo y color/raza.

RÉSUMÉ L'article présente et discute les analyses de la valeur ajoutée, de l'efficacité différentielle et de l'équité sociale menées à traves de l'application du modèle multiniveaux (UF, municipalité, école, étudiant) aux données longitudinales des élèves qui ont fait la Prova Brasil 2011 pendent le 5ème et le 9ème siècles de l'enseignement fondamentale. La contribution de l'école brésilienne a été estimée selon trois dimensions: promotion de l'apprentissage du portugais et des mathématiques de 2011 à 2015 (valeur ajoutée); influence différenciée sur les apprentissages passées au cours de la période analysée, en référence au niveau de connaissance des étudiants à l'entrée, en 5ème année (efficacité différentielle); et influence différenciée dans les apprentissages de cette période en prenant comme référence le niveau socio-économique des élèves (équité sociale). Les variables sociodémographiques de l'élève ont également été testées, telles que le sexe, la couleur/race, la situation professionnelle et le fait le degré d'alphabétisation de la mère. L'article présente des résultats innovateurs sur l'efficacité pédagogique au Brésil et montre que, contrairement à la littérature internationale, l'ampleur de l'indicateur de valeur ajoutée est similaire à celle trouvée dans les études menées aux pays développés. Les résultats confirment les connaissances accumulées sur les performances académiques des étudiants par niveau socio-économique, sexe et couleur/race.

Resumo As taxas de abandono ou evasão no ensino superior são hoje preocupação social e das instituições, justificando a implementação de políticas públicas de prevenção do fenómeno. Estas políticas carecem de estudos sobre as variáveis mais determinantes do risco de abandono ou evasão. Nesta linha de preocupações, o objectivo central deste estudo é analisar o impacto da trajectória escolar prévia do estudante e das condições de ingresso no ensino superior, controlando a origem socioeconómica, a idade e o gênero dos estudantes. Aplicámos o modelo de regressão logística multinível, considerando alunos agrupados por curso, aos dados dos estudantes ingressados pela primeira vez no 1º ano numa universidade pública portuguesa no ano lectivo 2015/16. Os resultados do modelo sugerem que a reprovação no ensino básico tem efeito de longo prazo, isto é, a probabilidade de persistência durante o 1ºano é influenciada por esse atributo da trajectória escolar do indivíduo, mesmo controlando pela respectiva classificação de ingresso na universidade. De acordo com as estimativas obtidas, os alunos que declaram não ter reprovado no ensino básico têm razão de vantagens na persistência 2,7 vezes maior do que os estudantes que autodeclaram ter reprovado no ensino básico. A admissão do aluno no curso de 1ª opção, bem como a classificação de ingresso na universidade também estão associadas à probabilidade de persistência. Os resultados também mostram que os estudantes mais velhos e do sexo masculino têm menor probabilidade de persistência.

Abstract The dropout or evasion rates in higher education are now a social and institutional concern, justifying the implementation of public policies to prevent this phenomenon. These policies need studies on the most determinant variables of the risk of dropout. The main objective of this study is to analyze the student’s persistence in undergraduate courses, and the relationship with the student’s previous school trajectory and with the conditions of entrance into higher education, controlling for students’ sociodemographic characteristics, such as gender and age. We applied multilevel logistic regression models to data of 2.697 freshmen enrolled in a Portuguese public university in the academic year 2015/16. The results suggest that failure in basic education (ISCED 2) has a long-term effect. According to the estimates obtained, students who declare not having failed in basic education have odds ratio of persistence 2.7 times higher than students who declare having failed in basic education. The conditions of student’s admission to the course he/she attends are relevant variables to persistence in Higher Education, for example, whether s/he was admitted to her/his first option course and the student’s university entrance score. The results also show that older and male students have lower probability of persistence.

Resumen Las tasas de abandono o evasión en la enseñanza superior son hoy preocupación social y de las instituciones, justificando la implementación de políticas públicas de prevención del fenómeno. Estas políticas carecen de estudios sobre las variables más determinantes del riesgo de abandono o evasión. El objetivo principal de este estudio es analizar la persistencia del estudiante en los cursos de pregrado y la relación con la trayectoria escolar previa del alumno y con las condiciones de ingreso a la educación superior, controlando las características sociodemográficas de los estudiantes, como el género y la edad. Se aplicó el modelo de regresión logística multinivel, teniendo en cuenta los estudiantes agrupados por curso, a los datos de los estudiantes que entraron en el primero año de una universidad pública portuguesa en el año académico 2015/16. Los resultados del modelo sugieren que la reprobación en la enseñanza básica tiene efecto a largo plazo, es decir, la probabilidad de persistencia durante el primeiro año es influenciada por ese atributo de la trayectoria escolar del individuo, aun controlando por la respectiva clasificación de ingreso en la universidad. De acuerdo con las estimaciones obtenidas, los alumnos que declaran no haber reprobado en la enseñanza básica tienen razón de ventajas en la persistencia 2,7 veces mayor que los estudiantes que autodeclaron haber reprobado en la enseñanza básica. La admisión del alumno en el curso de 1ª opción, así como la clasificación de ingreso en la universidad también están asociadas a la probabilidad de persistencia. Los resultados también muestran que los estudiantes mayores y varones tienen menos probabilidades de persistencia.

RESUMO: O artigo apresenta uma revisão sobre modelos de valor acrescentado e ligação à política pública em educação e ensino superior, omitindo os aspectos técnico-metodológicos que são por natureza complexos. Assim, o artigo destina-se, prioritariamente, a pesquisadores e atores de política educativa. Também procede à revisão sistemática da literatura científica publicada em periódicos do Brasil e de Portugal registados na plataforma SciELO, donde resulta a constatação de uma escassa produção face à agenda científica imposta pelas potencialidades inerentes à melhoria da educação e do ensino superior e, consequentemente, à prosperidade da sociedade. Por fim, são enunciadas três etapas principais para o desenvolvimento de um sistema de avaliação que inclua o indicador de valor acrescentado.

ABSTRACT: The article presents a review on value added models and connection to public policy in education and higher education, omitting the technical and methodological aspects that are by nature complex. Thus, the article is primarily aimed at researchers and actors of educational policy. It also proceeds to the systematic review of the scientific literature published in Brazilian and Portuguese journals registered in the SciELO platform, which results in the scarce production in view of the scientific agenda imposed by the potentialities inherent to the improvement of education and higher education and, consequently, to the prosperity of society. Finally, three main steps are set out for the development of an evaluation system that includes the value added indicator.

RESUME: L’article présente un aperçu des modèles à valeur ajoutée et la connexion à la politique publique dans l’éducation et l’enseignement supérieur, en omettant les aspects techniques et méthodologiques qui sont complexes par nature. Ainsi, l’article est destiné principalement aux chercheurs et acteurs de la politique éducative. Réalise également l’examen systématique de la littérature scientifique publiée dans des revues du Brésil et du Portugal enregistrés dans la plate-forme SciELO, d’où la faible production en raison de l’agenda scientifique imposé par le potentiel inhérent à l’amélioration de l’éducation et de l’enseignement supérieur et, par conséquent, à la prospérité de la société. Enfin, ils ont mis trois étapes principales dans le développement d’un système d’évaluation qui comprend l’indicateur de la valeur ajoutée.

Resumo Este trabalho objetiva analisar o fenômeno da repetência escolar no Brasil e em Portugal, por meio dos dados do Programa Internacional de Avaliação de Estudantes [Programme for International Student Assessment] - Pisa 2012, e aplicar um modelo de regressão logística multinível tendo a repetência como variável dependente, no sentido de identificar características dos estudantes e das escolas que estejam associadas à probabilidade de repetência para estimar a variabilidade entre escolas. Dentre os principais resultados, a contribuição mais significativa deste estudo é explicitar uma clara associação entre repetência e indisciplina escolar. Pesquisas adicionais baseadas em dados longitudinais são necessárias para investigar aprofundadamente as características dos estudantes e das escolas que estejam associadas à mudança das condições de educação e que influenciam a probabilidade de repetência.

Abstract The main objective of this paper is to analyze grade repetition in Brazil and Portugal, using data from the Programme for International Student Assessment - PISA -, 2012, by applying a multilevel logistic regression model with repetition as the dependent variable in order to identify characteristics of students and schools that are associated with the probability of repetition and thus estimate the variability among schools. The most significant contribution of this work is the explication of a clear association between grade repetition and lack of scholastic discipline. Further studies, based on longitudinal data, are needed to investigate in detail the characteristics of students and schools that are associated with the changes in educational conditions which influence the probability of grade repetition.

Resumen Los principales objetivos de este trabajo son analizar la repitencia en Brasil y Portugal a través de los datos del Programa para la Evaluación Internacional de Estudiantes [Programme for International Student Assessment] -Pisa 2012 y aplicar un modelo de regresión logística multinivel en el que la repitencia sea la variable dependiente, en el sentido de identificar características de estudiantes y escuelas asociadas con la probabilidad de repitencia a fin de estimar la variabilidad a través de las escuelas. Entre los principales resultados, la contribución más significativa de este estudio es la de explicitar una clara asociación entre la repitencia y la indisciplina escolar. Es necesario seguir trabajando sobre la base de datos longitudinales para investigar en detalle las características de los estudiantes y las escuelas asociadas con el cambio educativo, que influyen en la probabilidad de repitencia.

Résumé Ce travail vise non seulement à analyser le phénomène du redoublement scolaire au Brésil et au Portugal à travers les données du Programme International pour le Suivi des Acquis des Élèves [Programme for International Student Assessment] - Pisa 2012, mais aussi à appliquer un modèle de régression multiniveau dans lequel le redoublement est utilisé comme variable dépendante, afin d'identifier les caractéristiques des élèves et des écoles qui sont associées à la probabilité de redoublement et d'estimer la variabilité entre écoles. Parmi les résultats principaux, l'apport le plus significatif de cette étude est d'expliciter l'association existant entre redoublement et indiscipline scolaire. Des recherches complémentaires basées sur des données longitudinales paraissent cependant nécessaires pour investiguer de manière plus approfondie les caractéristiques des élèves et des écoles associées au changement de conditions en matière d'éducation et qui influencent la probabilité de redoublement.

O presente artigo tem por objetivo fornecer evidência estatística sobre a complementaridade entre a teoria clássica dos testes e os modelos de resposta ao item para determinados fins de avaliação educacional. Essa complementaridade pode contribuir para o desenvolvimento futuro de processos inovadores de calibração dos items no contexto de testes adaptativos, a custo reduzido. A teoria clássica dos testes e o modelo de resposta ao item de crédito parcial generalizado são aplicados a testes compostos por items de múltipla escolha, de resposta curta, de completamento e de resposta aberta, parcialmente classificados. Os conjuntos de dados advêm dos testes realizados junto da população portuguesa de estudantes inscritos no 4º e no 6º ano. Os intervalos de confiança de 95% baseados em 1.000 amostras bootstrap revelam uma forte associação entre as estimativas da dificuldade do item, corroborando a teoria estatística de testes psicológicos.

This study aims to provide statistical evidence of the complementarity between classical test theory and item response models for certain educational assessment purposes. Such complementarity might support, at a reduced cost, future development of innovative procedures for item calibration in adaptive testing. Classical test theory and the generalized partial credit model are applied to tests comprising multiple choice, short answer, completion, and open response items scored partially. Datasets are derived from the tests administered to the Portuguese population of students enrolled in the 4th and 6th grades. The results show a very strong association between the estimates of difficulty obtained from classical test theory and item response models, corroborating the statistical theory of mental testing.

El presente estudio tiene como finalidad presentar evidencia estadística de la correlación entre la Teoría Clásica de los Tests (TCT) y los modelos de la Teoría de Respuesta al Ítem (TRI) para determinados fines de evaluación educativa. Dicha correlación podría contribuir al desarrollo de futuros procedimientos innovadores, a bajo costo, para la calibración de los ítems en el contexto de los sistemas de evaluación adaptables. La Teoría Clásica de los Tests y el Modelo del Crédito Parcial Generalizado de Respuesta al Ítem, se aplican a pruebas que están formadas por ítems de opción múltiple, de respuestas breves, de completar espacios o de respuesta abierta que se califican de manera parcial. Los conjuntos de datos se extrajeron de las pruebas administradas a población portuguesa compuesta por estudiantes procedentes de 4° y 6° grado. Los intervalos de confianza del percentil 95º obtenidos mediante muestras bootstrap ponen de relieve una fuerte relación entre las estimaciones de la dificultad del ítem y por ende, corroboran la teoría estadística de los tests mentales.

Este artigo examina a abordagem de valor acrescentado no contexto da literatura de eficácia escolar. Debatidos aspetos relevantes do estado-da-arte sobre o uso do indicador de valor acrescentado, o enfoque recai sobre os problemas de escolha do modelo estatístico e o das propriedades de consistência e estabilidade do indicador, considerando o contexto educacional brasileiro. São apresentadas as vantagens e limitações que, por sua vez, elucidam quanto ao uso que lhe possa ser dado. A componente empírica é desenvolvida através da aplicação de modelo multinível de componentes de variância aos dados do GERES 2005 referentes ao município de Campinas, dado este apresentar, simultaneamente, maior percentagem de escolas por estrato e menor taxa de atrito. A evidência empírica revela que o indicador produzido pelo modelo de resultados contextualizados é muito diferente do de valor acrescentado, sustentando a necessidade de adoção de estudos longitudinais. Os níveis de consistência e de estabilidade encontrados face aos dois modelos de valor acrescentado testados sugerem a sua utilidade para atempadamente diagnosticar as escolas que sistematicamente apresentam desempenho próprio de escolas eficazes ou de escolas não eficazes.

The paper presents a value-added approach in the context of the literature of school effectiveness. Relevant aspects such as the use of the value-added indicator, the choice of the statistical model, and the scientific properties of consistency and stability in Brazilian education are discussed. The empirical evidence presented is based on the variance component models applied to GERES 2005 data collected in the municipality of Campinas. The results show that the indicator obtained by the contextualized results model is rather different from the one obtained by a value-added model, supporting the need of conducting longitudinal data studies. The findings about consistency and stability suggest the value-added usefulness to timely diagnose schools that systematically perform as effective schools or as ineffective schools.

Este artículo analiza el abordaje de valor adicionado en el contexto de la literatura de eficacia escolar. Discutidos aspectos importantes de los últimos avances actuales sobre el uso del indicador de valor adicionado, el enfoque recae sobre los problemas surgidos al elegir el modelo estadístico y las propiedades de consistencia y estabilidad del indicador, dentro del contexto educacional brasileño. Se presentan las ventajas y limitaciones que, a su vez, esclarecen el uso que se le puede dar. El componente empírico se desarrolla a través de la aplicación de un modelo multinivel de componentes de varianza a los datos del GERES 2005 (Estudio de la Generación Escolar 2005) referentes al municipio de Campinas (Brasil), ya que presenta, simultáneamente, mayor porcentaje de escuelas por estrato y menor tasa de desavenencia. La evidencia empírica revela que el indicador que el modelo de resultados contextualizados produce es muy diferente del de valor adicionado, lo que fundamenta la necesidad de adopción de estudios longitudinales. Los niveles de consistencia y de estabilidad encontrados frente a los modelos de valor adicionado verificados sugieren su utilidad para diagnosticar a tiempo las escuelas que sistemáticamente presentan desempeño propio de escuelas eficaces o de no eficaces.

Desde o início do século XXI deparamo-nos com uma onda crescente na implementação de sistemas de avaliação educacional que têm como propósito a responsabilização - prestação de contas (accountability) -, com consequências directas ao nível das escolas e dos professores (high-stakes). Assistimos a desenvolvimentos muito rápidos, quer em termos da influência da avaliação educacional na definição de políticas públicas, quer na sua aplicação para a avaliação destas políticas. Neste contexto, o uso do conceito de valor acrescentado em educação é consensualmente aceite. O artigo apresenta algumas reflexões sobre aspectos da sua operacionalização e uso, trazendo à liça temas tais como a escolha do modelo, resultados escolares, caminhos para a apropriação pela comunidade educativa. Adicionalmente, descrevem-se exemplos onde o uso inapropriado de indicadores de desempenho teve consequências imprevistas e adversas para a educação.

Since the beginning of the 21st century that we face a growing wave towards the implementation of educational evaluation systems with high-stake accountability purposes at the level of teachers and schools. The development and implementation of such systems is quite fast, either in terms of the influence of the educational evaluation on public policies, or in terms of the public policy evaluation. In this context, the use of the value-added concept is consensually accepted. This paper presents some reflections on its implementation and use, emerging themes such as the model choice, school and student outcomes, and its appropriateness by practitioners. In addition, some examples are given where the misuse of performance indicators had adverse consequences to education.

Depuis le début du XXIième, siècle nous nous rencontrons face à un mouvement croissant dans la mise en oeuvre de systèmes d'évaluation éducationnelle qui a pour but la responsabilisation - reddition de comptes (accountability) -, ayant des conséquences directes au niveau des écoles et des professeurs (high-stakes). Nous assistons à des développements très rapides, soit en termes de l'influence de l'évaluation éducationnelle dans la définition des politiques publiques, soit dans l'application pour l'évaluation de celles-ci. Dans ce contexte, l'utilisation du concept de valeur ajoutée en éducation est consensuellement acceptée. L'article présente quelques réflexions sur des aspects de sa mise en oeuvre et utilisation, mettant en débat des thèmes comme le choix du modèle, les résultats scolaires, les chemins pour l'appropriation par la communauté éducative. En outre, on y décrit des exemples où l'utilisation inappropriée des indicateurs de performance ont eu des conséquences imprévues et adverses pour l'éducation.

Apesar das grandes conquistas verificadas no Brasil nas últimas décadas em Educação, o sistema educativo brasileiro ainda apresenta características estruturais que constituem obstáculo ao seu desenvolvimento social e econômico: as elevadas taxas de retenção e abandono escolar. Como consequência, o nível de instrução da população em idade ativa é baixo. Sob a responsabilidade da Presidência da República, foi desenhado o programa ProJovem Urbano, cuja finalidade prioritária é promover a inclusão social dos jovens brasileiros de 18 a 29 anos que, apesar de alfabetizados, não concluíram o Ensino Fundamental. Não obstante o programa atrair o interesse de elevado número de jovens, a desistência e evasão que se verificam ao longo do programa são muito elevadas. Este trabalho tem como principal objetivo identificar os grupos de maior incidência da evasão, tendo como propósito apoiar a implementação de medidas que a reduzam. Nestes termos, usando um modelo logístico multinível, são exploradas as seguintes características da população abrangida: sexo, idade, raça-cor, última série frequentada, nível de conhecimento em Matemática e Língua Portuguesa à entrada no Programa, nível socioeconômico e a região metropolitana. Os resultados sugerem que os grupos de maior incidência da evasão são definidos pelas variáveis sexo, idade e região.

Despite the great achievements recorded in Brazilian Education in recent decades, the Brazilian system still has structured characteristics that hamper its socioeconomic development: the high rates of retention and school evasion. As a result, the educational level of the working age population is low. Under the responsibility of the Presidency of the Republic, the Urban ProJovem was designed: its primary goal is to promote the social inclusion of 18-29-year-old Brazilians who, even literate, have not completed Primary School. Although the Program attracted the interest of many young people, the withdrawal and evasion were still very high. This study aims to identify the main groups of higher incidence of evasion, with the aim to implement measures to reduce it. Thus, using a multilevel logistic approach, the following characteristics are taken into consideration: sex, age, race, color, last grade attended, levels of knowledge in Math and Portuguese at the entrance to the Program, socioeconomic level and the metropolitan area. The results suggest that the groups with higher incidence of evasion were defined by gender, sex, age and region.

A pesar de las grandes conquistas verificadas en Brasil durante las últimas décadas en el área de la Educación, el sistema educativo brasileño todavía presenta características estructurales que son obstáculo para su desarrollo social y económico: las altas tasas de retención y abandono escolar. Como consecuencia de ello, el nivel de instrucción de la población en edad activa es bajo. Con la responsabilidad de la Presidencia de la República, se proyectó el programa Projoven Urbano, cuya finalidad es promover la inclusión social de los jóvenes brasileños de 18 a 29 años que, a pesar de alfabetizados, no concluyeron la Escuela Primaria. Aunque el programa atrae el interés de gran número de jóvenes, el abandono y la evasión que se verifican a lo largo del programa son muy altos. Este trabajo tiene como principal objetivo identificar los grupos de mayor incidencia de la evasión, para poder apoyar la implementación de medidas que la reduzcan. En estos términos, se usa un modelo logístico multinivel, se analizan las siguientes características de la población alcanzada: sexo, edad, etnia-color, último grado o año cursado, nivel de conocimiento en Matemáticas y Lengua Portuguesa al entrar en el Programa, nivel socioeconómico y la región metropolitana. Los resultados sugieren que los grupos de mayor incidencia de la evasión son definidos por las variables de sexo, edad y región.